TensorRT-LLM 流式推理 30章 · 实战优化

01

TensorRT-LLM 初探 什么是 TensorRT-LLM？为什么需要流式推理？架构概览与核心组件

→ 02

环境搭建与模型准备 NVIDIA 驱动、CUDA、cuDNN、TensorRT；下载并转换 LLaMA、ChatGLM

→ 03

基础推理流程 使用 Python API 实现最简单的非流式文本生成

→ 04

流式推理原理 Token 级流式输出工作机制；非流式 vs 流式内存与延迟差异

→ 05

实现第一个流式推理 基于 Python Generator 逐 Token 输出；streaming=True 参数

→ 06

客户端-服务器架构 设计思路；FastAPI / Flask 搭建流式 HTTP 端点

→ 07

Server-Sent Events (SSE) 实战 SSE 协议详解；FastAPI 中实现 SSE 流式响应

→ 08

WebSocket 流式推理 WebSocket vs SSE；双向流式通信实现

→ 09

批处理与动态批处理 静态批处理 vs 动态批处理；max_batch_size / max_queue_delay

→ 10

KV Cache 优化 KV Cache 原理；max_seq_len / max_beam_width 显存影响；共享 KV Cache

→ 11

PagedAttention 与 vLLM 集成 PagedAttention 原理；TensorRT-LLM 实现；与 vLLM 对比

→ 12

量化技术入门 FP16、INT8、INT4 量化；--dtype 参数配置

→ 13

Weight-Only 量化实战 --weight_only_precision INT4/INT8；精度与吞吐权衡

→ 14

FP8 与 FP4 量化 Hopper 架构 FP8 支持；FP4 实验性支持

→ 15

SmoothQuant 与 AWQ SmoothQuant 原理；AWQ 算法；加载 AWQ 量化模型

→ 16

多 GPU 推理 张量并行 (TP) 与流水线并行 (PP)；--tensor_parallel_size 等配置

→ 17

多节点推理 跨节点挑战；NCCL 通信优化；--world_size / --rank

→ 18

推理引擎构建与序列化 trtllm-build 详解；Engine 保存/加载；max_input_len / max_output_len

→ 19

C++ Runtime 部署 C++ API 高性能部署；对比 Python Runtime 性能差异

→ 20

Triton Inference Server 集成 NVIDIA Triton 简介；TensorRT-LLM Backend；流式端点

→ 21

性能 Profiling 与 Benchmark trtllm-profiler；TTFT、TPOT、吞吐量指标

→ 22

显存优化技巧 显存碎片整理；--gpu_weights_percent / CPU Offloading

→ 23

请求调度与优先级队列 请求优先级；max_queue_delay 调度；公平调度算法

→ 24

前缀缓存 (Prefix Caching) 共享前缀缓存机制；--use_prefix_cache；适用场景

→ 25

流式推理中的错误处理 网络中断、客户端断开、超时；优雅降级与重试

→ 26

安全性与鉴权 API Key 鉴权；速率限制；输入过滤与输出审核

→ 27

日志与监控 结构化日志 (JSON)；Prometheus 指标；Grafana 仪表盘

→ 28

生产环境部署 Docker 容器化；Kubernetes 部署；HPA 自动扩缩容

→ 29

实战案例：流式聊天机器人 从模型选择到前端展示的全流程实现

→ 30

前沿趋势与总结 MLA、Mamba、MoE 影响；课程总结与进阶路径

→